RetrievalRouter: 联合模态与架构选择的文档检索路由
🧭 检索召回 · 查询路由 · 效率优化
SAMOV AR, Télécom SudParis, Institut Polytechnique de Paris · Özyeğin University
轻量 query-aware 路由仅凭查询文本选择最优检索管道，在精度和延迟上同时超越静态基线
📌 工作参考价值（4 点）
- 电商搜索多路召回可借鉴其动态路由：简单 query（品牌词、短词）走轻量双塔或倒排，复杂 query 路由到多模态/交互式重排。用一个轻量分类器仅依赖 query 文本做路由，无需动底层模型，单参数即可在线调节成本和收益。
- 若业务中有文本嵌入、多模态嵌入、dense 与 late-interaction 等多种检索管道，不要全局固定一个。构建候选 pipeline 池，用 query-aware router 联合选择模态和架构，比简单级联更灵活、时延更可控。
- 单参数 accuracy-latency 前沿的思路可直接用于 SLA 对齐：置信度阈值决定多少 query 走 expensive path，能直观给出成本—精度曲线，方便与预算、p99 时延等业务约束权衡。
- 论文路由只用 query 文本，开销极低，适合在线推理。电商场景可扩展轻量特征（query 长度、类目、用户历史）提升路由准确度，仍保持低延迟。
Doc-to-Atom: 学习编译和组合记忆原子
🧭 文档参数记忆 · 原子化知识组装 ★ 深度解读
AI Center-Mountain View, Samsung Electronics · Dartmouth College
将文档分解为语义类型原子并编译为 micro-LoRA，查询时动态路由组合相关原子，减少干扰并提升长文档推理性能。
📌 工作参考价值（4 点）
- 长文档的知识原子化存储：对电商商品详情、政策法规等长文本，可预分解为独立语义原子（事实、属性、事件等），每个原子生成微型 LoRA 适配器，降低在线推理时的内存占用（文中内存减少 44-85%）。
- 查询相关性驱动的动态适配器组装：借鉴两阶段路由机制（近似索引 + 交叉编码器重排），只挑选与当前 query 最相关的 top-K 原子微调器组合，避免单一适配器对所有查询造成干扰，同时自然实现无关查询拒答（拒绝率可超 85%）。
- 稀疏门控与知识保护：利用稀疏掩码限制每个原子只写入部分层/模块，结合 L2 或 null-space 约束防止覆盖基础模型能力，这对在多任务环境下避免灾难性遗忘特别有用。
- 多目标训练与课程调度：同时优化蒸馏、路由、无关抑制、组合一致性等损失，并通过分阶段课程增加检索原子数，可稳定训练复杂参数记忆系统，相关损失设计可直接复用。